Năm 610, thời Tùy Dạng đế, các cuộc nổi dậy nổi lên, Trình Giảo Kim chiêu mộ khoảng 100 người, lập đội vũ trang bảo vệ làng xóm. Sau ông gia nhập Ngõa Cương quân, được Lý Mật trọng dụng, cho giữ chức Phiêu kỵ.

Năm 618, Lý Mật và Vương Thế Sung quyết chiến. Ông cùng Bùi Hành Nghiễm được Lý Mật phái dẫn quân đi tăng viện cho Thiện Hùng Tín nhưng bị quân của Vương Thế Sung đánh bại. Trình Giảo Kim bị truy binh dùng giáo dài đâm bị thương, nhưng ông vẫn đánh bại truy binh để trốn thoát.

Khi Vương Thế Sung đánh bại Lý Mật, đã thu nhận Trình Giảo Kim, phong làm tướng quân, đối đãi rất hậu.

Tuy nhiên, đến năm 619, lấy cớ Vương Thế Sung làm người gian trá, Trình Giảo Kim cùng với Tần Thúc Bảo, Ngô Hắc Thát, Ngưu Tiến Đạt... cả thảy 10 người bỏ đi theo về với nhà Đường.

Về Đường, Giảo Kim được đưa về phủ Tần vương, giữ chức Tả tam thống quân. Từ đó, ông theo Tần vương Lý Thế Dân, lần lượt đánh bại Tống Kim Cương, Đậu Kiến Đức, Vương Thế Sung... lập được nhiều công trạng, được phong làm Túc quốc công.